AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory
AgentIR: 面向长期会话记忆的自适应级联检索基底
🧭 自适应级联检索 · Agent 记忆工作负载 ★ 深度解读
University of Southern California
针对 LLM Agent 记忆的强近期偏斜与查询异质性，设计自适应级联检索系统，实现次线性扩展与跨工作负载自动融合选择。
📌 工作参考价值（4 点）
- 时间分区索引利用 recency skew：将 Agent 记忆按时间窗口分桶，查询时仅检索最新分区，在典型近期偏斜分布下复杂度 O(log 1/ε)，实测 5M 记录下子 100μs 延迟，可显著降低在线客服或推荐系统中长期历史查询的延迟。
- 级联路由按查询置信度跳过稠密通道：先跑廉价的 BM25，若Top-k 分数差跨过阈值则跳过耗时的 Dense 通道，在 LongMemEval 上跳过 63% 查询仍保持同等精度，部署时可用少量标注数据（50样本）自动学习阈值，适用于电商 Agent 中多数查询为简单事实查找的场景。
- 两轴控制面适配异质查询：融合策略（BM25/Dense/RRF/带时效偏好的 RRF）和是否激活稠密通道均按查询决策，可应对同一个 Agent 会话中从事实查找、推理到时间查询的类型切换。可用于推荐系统中混合搜索（关键词 vs 语义）的动态切换。
- BM25 工程加速与正确性坑点：SIMD 向量化、MaxScore 剪枝、GPU 两段核函数及共享内存初始化问题等具体实现细节可直接复用到自研稀疏检索模块，避免因预归一化 TF 或 nDCG 公式错误导致 6-8× 质量下降。